LadderEdit: Edit-Level Residual Compression for Memory-Efficient Lifelong Editing of LLMs
LadderEdit：编辑级残差压缩实现 LLM 终身编辑内存高效
🧭 终身模型编辑 · 参数高效存储
Yale University · Washington University in St. Louis · Icahn School of Medicine at Mount Sinai · Arizona State University
按编辑难度动态分配 LoRA 秩的压缩方法，内存减少 5.2 倍仍追踪精确 LoRA 性能
📌 工作参考价值（4 点）
- 对大规模个性化 LoRA 适配器（如每用户/每商品/每场景）可直接套用：先以极低秩存储，用少量验证 prompt 检查效果，不达标再提升秩，显著降低存储与显存。
- 持续更新推荐/广告模型时，可借鉴“编辑合约”：为每次更新设定改写/泛化/局部性指标，仅在满足时接受，避免灾难性遗忘。
- 工程实现上，维护多级秩 ladder，编辑先以低秩 sketch 存储，失败才逐步提升，可以节省推理时的内存带宽，适合在线部署。
- 注意：论文侧重事实编辑，与电商场景的偏好/行为数据分布差异较大，需重新设计验证合约才能复用到推荐系统。